ΧΡΊΞΕΞΕ 
才 云 科技 BER 








International Collegiate 
acm Programming Contest 








event 
sponsor 





MEF JAR CAI CUMS! ΕΠΗ RS Laici 











MEF ABE HCA CAI! nan 





ES Caicloud; 

















Google DeepMind 





AF ABR catóuu.io" 0000 4 <= Caicloud. 











MEF ABE A Catal "777 5 





E 


2006-01 2007-01 2008-01 2009-01 2010-01 2011-01 2012-01 2013-01 2014-01 2015-01 2016-01 
年 份 


搜索 词 rdeep learning” (RES ) 在 Google 上 的 热度 图 





ww ai bot. com [1 D B EL D] UD 6 < 


DZ Laiciouc] 





ww ai bot. com 0000000 7 





Classification error (96) 


2010 





2011 


1626 


2012 








1296 
6.626 5.98% 5.1% 4.94% 
l lI i 4.82% 
2013 2014 2015 Human 2015 2015 
(Baidu) (MS) (Google) 
ww ai bbt. com [1] E EL E] E] ET E] 8 





€ Caicloud: 


Caicloud E PE) hanjiayao v 





( BS 


-------------------------------------------------------ᾱ 


c» 代码 构建 > 

τ ”镇 像 仓 库 

P HEEF v 
单机 实验 
TensorFlow 和 集群 
Spark 靠 群 


碟 ” 机 器 学 习 应 用 ~ 





图 片 分 类 
图 片 分 Mix? HN + NET NE α ΙῃΗ 
时 序 分 析 

Q ”解决 方案 

日 志 管 理 

操作 记录 

@ ER 


ww ai bot. com [1 D B EL D] UD 9 < 


SF Caicloud; 



































ww ai bot. com ΠΠΠΠΠΠΗΠ 10 








AEEA Πε TR Ma MW Aa 


ΣΉ, “ a ολ) yk 1 ~ >i) > ym 


SAS: 





< Caicloud 5 





ww ai bbt. com [] E] EL ET E] E]. E] 


A "e 
SI 
. Y | 


ww ai bbt. com [] E] JI D 








12 








神经 网 络 工作 原理 





AMES ABS CA CUMS! n n n 13 


< Laicloud ; 


伸 经 网 络 模 型 





weights 


| $) G Out _ 
DT |- 
D | transfer 


ES a. m lar 
cell body ` E ; Li TASE 
y a x, function 


dendrites ; 








terminal axon 








Input layer Output layer 


synapse Hidden layers 


郑 泽 宇 7 zi 0000 14 < Caicloud: 


cloud. acceleration. intelligence. 7 








伸 经 网 络 模 型 


图 像 识 别 
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文本 分 类 


Journal of Artificial IntelligenceResearct 





JAIR is a refereed joufnal, covering the 
areas of Artificial Intelligence, which is 
distributed free of charge over the Internet: 


Each volume of the journafis also published 
by Morgan Kaufman: 
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伸 经 网 络 模 型 


监督 子 习 和 无 监督 子 习 


监督 式 学 习 (AE : Supervised learning )， 是 一 个 机 器 学 习 中 的 方法 ， 可 以 由 训练 贷 料 中 
学 到 或 建立 一 个 模式 (BAN / learning model ) , HAIR E MRAZ, MARE 
输入 物件 ( 通常 是 向 量 ) FOME PZA. PRATS TLE MESA (MA ao 


析 ) AM A DRE ( 称 作 分 类 ) 


非 监督 式 学 习 是 一 种 机 器 学 习 的 方式 ， 并 不 需要 人 力 来 输入 标签 。 它 是 监督 式 学 习 和 强化 学 
习 等 策略 之 外 的 一 种 选择 。 典 型 的 非 监督 学 习 有 聚 类 等 ， 直 接 从 数据 的 特征 中 寻找 相似 性 。 
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伸 经 网 络 模 型 


输入 层 BAJJA SJ 
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Softmaxisuidi zi: 用 于 多 分 关 问 题 


, evi 
softmax(y); = y; ^ —<——— 
ftmax(y)i = yi Yen 


假设 输出 的 是 [yj, γ2, y3… yn] , 经 过 Softmax 回 归 层 后 ， 所 有 的 y; 都 将 被 限定 在 [0, 11218), y; TER. 


Sigmoidna. 用 于 二 分 类 占 题 


1 
1+e X 


sigmoid(y) = 


使 用 sigmoid 解 决 二 分 类 时 一 般 只 有 一 个 输出 y。 





MES zpzRHbPeaeiomdaie? nn un 20 < Caicloud; 


伸 经 网 络 模 型 





AR TT RRABU CHAIR SCERSSE 7 IBIBJA TR. 


1. BEL 


° H(p,q) = — dix p(x) log q(x) 

* DEAL, qze RAMAS RASO. SEFA , TEDASH ARMES ΤΗ 185523 1B ARM ARSE Th p 
FRE ARE. MIRTA O ET AEN Bp, BAIX BREA. Sell TEASE EAS, 
EHA), Med p E ERES fn IT SCARE fp. 


N 


. MSEIRAEREN : BEAZ 





E ARSALAR ENRE, 





L=- 2? Oi- y)" 
i-i 
3. AEMIRAMA : BEST TRU S EXSCTELZ FUB AR. 
WFF ABE BCA MAID 0000 21 


€ Caicloud; 


神经 网 络 模型 
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P ; jarem ngama [πρὸ P, RARER: με, 
Im 局 部 最 小 值 和 全 局 最 小 值 。 这 种 情况 下 ， 
如 果 上 图 初始 点 在 右边 ， 
那么 适 代 会 陷入 局 部 点 而 不 能 全 局 收敛 。 
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Tensor#Session 
TensorFlow 里 面 的 变量 都 以 tensor 的 形式 保存 ， 可 以 调用 session 来 获取 tensor 的 取 值 


Import tensorflow as tf 
a = tf.constant([1.0, 2.0], name="a") 
b = tf.constant([2.0, 3.0], name="b") 


result=a+b 
print result 
输出 : 


Tensor("add:0", shape=(2,), dtype=float32) 


with tf. Session() as sess: 
print sess.run(result) 

输出 : 

[3.0, 5.0] 
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Layer 的 构建 


input = tf.placeholder(tf.float32, shape=input_shape, name="input") 

w = tf. Variable(tf.random normal([input shape, output shape], stddev=1)) 
b = tf. Variable(tf.constant(0.1, shape-[output shape|)) 

output = tf.nn.relu(tf.matmul(x, w) + b) 


fii Hcontrib.layers 


input = tf.placeholder(tf.float32, shape-input shape, name="input") 
output = tf.contrib.layers.fully connected(input shape, output shape, activation function) 
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数字 图 片 及 其 像素 矩阵 
1. 读 取 数据 


from tensorflow.examples.tutorials.mnist import input data 
mnist = input data.read data sets("../../datasets/MNIST data/", one hot=True) 


print "Training data size: ", mnist.train.num examples 
print "Validating data size: ", mnist.validation.num examples 
print "Testing data size: ", mnist.test.num examples 


Training data size: 55000 
Validating data size: 5000 
Testing data size: 10000 
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2. 使 用 next_batch 随 机 划分 数据 集 


batch size = 100 u u 
xs, ys = mnist.train.next batch(batch size) # MtrainfiR£Púlbatch size TWARE. 


print "X shape:", xs.shape 
print "Y shape:", ys.shape 


X shape: (100, 784) 
Y shape: (100, 10) 
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def 


def 


get weight variable(shape, regularizer): 

weights = tf.get variable("weights", shape, initializer=tf.truncated normal initializer(stddev=0.1)) 
if regularizer != None: tf.add to collection('losses', regularizer(weights) ) 

return weights 


inference(input tensor, regularizer): 


WENDE 


with tf.variable scope('layerl'): 


weights = get weight variable( [INPUT NODE, LAYER1 NODE], regularizer) 
biases = tf.get variable("biases", [LAYER] NODE], initializer-tf.constant initializer(0.0)) 
layerl = tf.nn.relu(tf.matmul(input tensor, weights) + biases) 


TAE X LE 

with tf.variable scope('layer2'): 
weights = get weight variable([LAYER1 NODE, OUTPUT NODE], regularizer) 
biases tf.get variable("biases", [OUTPUT NODE], initializer-tf.constant initializer(0.0)) 
layer2 tf.matmul(layerl, weights) + biases 


return layer2 
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def train(mnist): 
# EXA inplaceholder, 
x = tf.placeholder(tf.float32, [None, mnist inference.INPUT NODE], name='x-input' ) 
y = tf.placeholder(tf.float32, [None, mnist inference.OUTPUT NODE], name='y-input' ) 


regularizer - tf.contrib.layers.12 regularizer(REGULARIZATION RATE) 
y = mnist inference.inference(x, regularizer) 
global step - tf.Variable(0, trainable-False) 


# AEXÍIHADE. FILE, ADPITZRIFA RUINA. 
variable averages = tf.train.ExponentialMovingAverage(MOVING AVERAGE DECAY, global step) 
variables averages_op = variable averages.apply(tf.trainable variables()) 
cross entropy = tf.nn.sparse softmax cross entropy with logits(logits-y, labels-tf.argmax(y , 1)) 
cross entropy mean - tf.reduce mean(cross entropy) 
loss = cross entropy mean + tf.add n(tf.get collection('losses')) 
learning rate = tf.train.exponential decay( 

LEARNING RATE BASE, 

global step, 

mnist.train.num examples / BATCH SIZE, LEARNING RATE DECAY, 

staircase=True) 
train step = tf.train.GradientDescentOptimizer(learning rate).minimize(loss, global step=global step) 
with tf.control dependencies([train step, variables averages op]): 

train op = tf.no op(name-'train') 


# WUA TensorFlowffXx tz. 
saver = tf.train.Saver() 
with tf.Session() as sess: 
tf.global variables initializer().run() 


for i in range(TRAINING STEPS): 
KS, yS = mnist.train.next_batch(BATCH SIZE) 
_, loss value, step = sess.run([train op, loss, global step], feed dict=(x: xs, y : ys}) 
if i $ 1000 == 0: 
print("After %d training step(s), loss on training batch is $g." 3 (step, loss value) ) 
saver.save(sess, os.path.join(MODEL SAVEwPATH, cMODEL] NAME), global step-global step) < 
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def main(argv=None): 
mnist = input data.read data sets("../../../datasets/MNIST data", one hot-True) 
train(mnist) 


if name == 
main() 
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# DMERTATIEN Pao 
EVAL INTERVAL SECS = 10 


def evaluate(mnist): 
with tf.Graph().as default() as g: 
x = tf.placeholder(tf.float32, [None, mnist inference.INPUT NODE], name='x-input' ) 
y = tf.placeholder(tf.float32, [None, mnist inference.OUTPUT NODE], name='y-input' ) 
validate feed = (x: mnist.validation.images, y : mnist.validation.labels) 


y = mnist inference.inference(x, None) 
correct prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y , 1)) 
accuracy - tf.reduce mean(tf.cast(correct prediction, tf.float32)) 


variable averages - tf.train.ExponentialMovingAverage(mnist train.MOVING AVERAGE DECAY) 
variables to restore - variable averages.variables to restore() 
saver = tf.train.Saver(variables to restore) 


while True: 
with tf.Session() as sess: 

Ckpt - tf.train.get checkpoint state(mnist train.MODEL SAVE PATH) 

if ckpt and ckpt.model checkpoint path: 
saver.restore(sess, ckpt.model checkpoint path) 
global step = ckpt.model checkpoint path.split('/')[-1].split('-')[-1] 
accuracy score - sess.run(accuracy, feed dict-validate feed) 
print("After %s training step(s), validation accuracy = %g" % (global step, accuracy score)) 

else: 
print('No checkpoint file found') 


return WAN ai bbt. com 1000000 
time.sleep( EVAL INTERVAL SECS) 15 
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闻 化 


池 化 一 般 分 为 最 大 池 化 层 ( max pooling ) , 
平均 池 化 层 ( average pooling ) 
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基础 特征 ， 图 片 像 素 第 一 层 : â + Jj: 复杂 形状 
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LeNet5 模 型 ( By[n]fz$8 ) 





input —+*###41 一 池 化 1 —251H2 一 闻 化 2 > 全 连接 1 -» 全 连接 1 > output 
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def inference(input tensor, train, regularizer): 
with tf.variable scope('layerl-convl'): 

convl weights = tf.get variable( 
"weight", [CONV1 SIZE, CONV1 SIZE, NUM CHANNELS, CONV1 DEEP], 
initializer=tf.truncated normal initializer(stddev=0.1)) 

convl biases = tf.get variable("bias", [CONV1 DEEP], initializer-tf.constant initializer(0.0)) 

convl = tf.nn.conv2d(input tensor, convl weights, strides-[1, 1, 1, 1], padding- SAME') 

relul = tf.nn.relu(tf.nn.bias add(convl, convl biases) ) 


with tf.name scope("layer2-pooll"): 
pooll = tf.nn.max pool(relul, ksize = [1,2,2,1],strides=[1,2,2,1],padding="SAME" ) 


with tf.variable scope("layer3-conv2"): 
conv2 weights = tf.get variable( 
"weight", [CONV2 SIZE, CONV2 SIZE, CONV1 DEEP, CONV2 DEEP], 
initializer=tf.truncated normal initializer(stddev=0.1)) 
conv2 biases = tf.get variable("bias", [CONV2 DEEP], initializer-tf.constant initializer(0.0)) 
conv2 - tf.nn.conv2d(pooll, conv2 weights, strides-[1, 1, 1, 1], padding- SAME') 
relu2 - tf.nn.relu(tf.nn.bias add(conv2, conv2 biases)) 


with tf.name scope("layer4-pool2"): 
pool2 = tf.nn.max pool(relu2, ksize-[l, 2, 2, 1], strides-[1, 2, 2, 1], padding- SAME') 
pool shape = pool2.get shape().as list() 
nodes - pool shape[1] * pool shape[2] * pool shape[3] 
reshaped - tf.reshape(pool2, [pool shape[0], nodes]) 
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with tf.variable scope( layer5-fcl'): 
fcl weights - tf.get variable("weight", [nodes, FC SIZE], 
initializer-tf.truncated normal initializer(stddev-0.1)) 
if regularizer !- None: tf.add to collection('losses', regularizer(fcl weights)) 
fcl biases - tf.get variable("bias", [FC SIZE], initializer-tf.constant initializer(0.1)) 


fcl = tf.nn.relu(tf.matmul(reshaped, fcl weights) + fcl biases) 
if train: fcl = tf.nn.dropout(fcl, 0.5) 


with tf.variable scope('layer6-fc2'): 
fc2 weights = tf.get variable("weight", [FC SIZE, NUM LABELS], 
initializer-tf.truncated normal initializer(stddev-0.1)) 
if regularizer !- None: tf.add to collection('losses', regularizer(fc2 weights)) 
fc2 biases - tf.get variable("bias", [NUM LABELS], initializer-tf.constant initializer(0.1)) 
logit = tf.matmul(fcl, fc2 weights) + fc2 biases 


return logit 
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https://github.com/caicloud/tensorflow-tutorial 
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